• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:

    公开号:WO1992011599A1
    申请号:PCT/JP1991/001748
    申请日:1991-12-20
    公开日:1992-07-09
    发明作者:Masayoshi Inoue
    申请人:Masayoshi Inoue；
    IPC主号:G06N3-00
    专利说明:
    [0001] 明 細 書
    [0002] カオス振動子結合系を素子としたニューラル ·ネットワーク
    [0003] 〔技術分野〕
    [0004] 本発明は、 物理学の分野で最近発見されたカオス運動 （文献 1 ： 「合原一幸 緩著 1 9 9 0。 カオス。 サイエンス社 J を参照） をニューラル ·ネッ トワーク
    [0005] (文献し 2 「麻生英樹 1 9 8 8。 ニューラル ·ネッ トワーク情報処理。 産 業図書」 , 3 Γ合原一幸 1 9 8 8。 ニューラルコンピュータ。 東京電気大学 出版局」 ， 4 Γ中野鼕 鏞著 1 9 9 0。 ニューロコンピュータの基礎。 コロ ナ社」 参照） に応用したものである。 カオス運動は乱雑性と規則性を合わせ持つ ている。 この特徴を、 カオス振動子を複数個結合させることにより巧みに利用し て素子を作った。 従来のニューラル 'ネットワークの素子をこのカオス素子で置 き換えるだけでよい。 従来のニューラル ·ネッ トワークを利用するノウ 'ハウ （ 例えば素子間の結合のさせかた） は全てこの新しいニューラル ·ネットワークに も利用できる。
    [0006] カオス振動子を利用したことにより、 確率的過程 （例えば乱数発生） を一切用 いていないにも拘わらず、 ボルツマン ·マシン （文献 2 , 3 , 4参照） と同様の 働きをさせることができる。
    [0007] 従来の電子計算機が不得意な問題である、 図形認識や組合せの数が膨大になる 最適化問題などを高度並列分散的に高速に解くことができる。
    [0008] 〔背景技術〕
    [0009] 従来のニューラル ·ネットワークであるホップフィルド ·モデル （文献 2 , 3， 4参照） では、 稼働するとき 1個の素子を確率的に選びルールに従って状態を変 化させている。 これは並列処理ではないので処理速度が遅く、 また同時に 1個し か変化させないのでハミング距離が 2以上の離れた状態へは移れない。 このこと より、 小さな局所ミニマムからさえ抜け出すことができず、 大局的なミニマムを さなければならない最適化問題に用いることができない。 これを避けるために ボルツマン .マシンによる焼き鈍し法 （文献 2 , 4参照） を用いるが、 この方法 は一般に解を得るのに極めて長い時間を要する。
    [0010] また、 カオス振動子のアトラクター （文献 1参照） をメモリ （文献 1参照） に 応用させたものがあるが、 未だ理論的可能性の段階である。
    [0011] カオス振動子をニューラル ·ネットワークに応用する試みもなされている （文 献 3参照） 。 しかし、 この試みも実用に耐えるところまで到っていない。 また、 これまでのカオス振動子を利用したニューラル■ネットワークにおいては、 1個 のカオス振動子を 1個のニューロン （素子） に対応させている。 ところが、 本発 明においては複数個のカオス振動子が互いに結合した系を 1個のニューロン （素 子） に対応させており、 このことが従来のカオスニューラル ·ネットワークと拫 本的に異なるところである。 複数のカオス振動子を結合させたことにより、 多様 な運動状態が出現する。 例えば、 振動子簡の同調、 非同調という 2個の運動状態 が表れるので、 これを記号化することにより 2値をとれるデジタル素子にするこ ともできる。 これは今までにない全く新しい考案である。 単なる乱雑な振動子で は、 同調状態は表れない。 カオス振動子を用いたが故にカオス振動子に内在する 規則性によって同調状態が可能になった。 また、 カオス振動子のもつ乱雑性によ つて、 自ら最適解を捜すことができる。 このように、 本発明ではカオス振動子が もつ規則性と乱雑性という両側面を見事に巧みに変化させることがきることも注 目すべき利点であり、 従来のノィマン型電子計算機にない完全並列処理ができる という画期的な長所もある。
    [0012] したがって、 高速に良い解を求めるために焼き鈍しの方法や素子の多値化など の研究が盛んになされているが、 未だ良い方法が発明されていない。 しかし、 現 代のノイマン型電子計算機が不得意な問題を高速に解くための新しい情報処理装 置の開発は、 強く要望されている。 本発明は、 全く新しい原理 （カオス振動子結 合系の同調状態） を用いてこの要望に応えるものであり、 高度な情報処理方法の 新しい幕開けになるものである。
    [0013] 〔発明の開示〕
    [0014] 本発明は、 従来のニューラル 'ネットワークの欠点を除いて、 確率を用いるこ . とがなく、 また全ての素子を同時に決定論的に変化させることにより、 高速に高 • 度な情報処理を行うことができることを特徴とする。
    [0015] • 本発明では、 カオス振動子を結合させた系を素子 （ニューロン） とする。 この • とき、 系の運動状態 （例えば同調状態、 非同調状態など） は後述の （8) 式の D
    [0016] 5 D , (n)なるパラメータによって変化するようにしておく。 例えば 2個の振動子か • らなる系では、 それらの振動子間の結合 Di(n)を DDi(n)を用いて後述の （9) . 式のように決めればよい。 また、 外力と素子間結合がないときにその系が臨界状 • 態 （例えば同調伏態と非同調状態の境目の状態） になるように 「しきい値」 を決 • める。 系の素子としての値は例えば後述の （5) ， (6) , (7)式のように系 0 の運動状態を用いて決める。 3個の振動子からなる系では、 同調状態、 非同調状 • 態のほかに部分的同調状態があるので同様の方法で 3値素子を作ることができる。 • さらには、 1個の振動子からなる系を素子にする場合は、 その振動子の運動状態 • を変化させるパラメータの値を DDi(n)を用いて決めればよい。
    [0017] • この素子を複数個互いに結合させる。 結合のさせ方と外力は解くべき問題によ 5 つて決める。 例えば、 例 1で示した 「図形の自己想起的な連想記憶」 のときは素 • 子間結合定数を後述の （1 1) , (1 2)式のように決める。 また、 巡回セール • スマン問題を解くときは素子間結合定数を後述の （1 5)式、 外力を （1 6) 式 • で決める。 また、 後述の例 3, 例 4のような学習をさせるときは、 素子間の結合 • 定数はそれぞれの学習のルールによって決まってくる。
    [0018] 0 本発明は、 以上のように構成された、 ニューラル ·ネッ トワークである。
    [0019] • 次に、 本発明の作用と実験結果を例を挙げて説明する。 簡単のため素子は 2個 • のカオス振動子から成るとする。 また、 パーソナル · コンピュータを用いてシミ • ュレートするため、 この素子の運動は次の式で表されるとする （文献 5 ： Γ
    [0020] ■ Yamada, T. , and Fujisaka H. 1983. Stability Theory of Synchronized 5 Motion in Coupled-Oscillator Systems, II. Prog. Theor. Physics 70, 1240- • 1248」 参照） 。
    [0021] • Xi(n+l) = Gx iXi(n)} +Di(n) {y s (n†l)-x s (n+1)} (1) - - y.(n+l) = GY {y,(n)} +D,Cn) {x i(n+l)-y i(n+l)} (2) 上式において、 XiCn)は i番目の素子の内部にある第 1振動子の時刻 nにおけ る値であり、 y , (n)は i番目の素子の内部にある第 2振動子の時刻 nにおける值 である。 時刻 n+ 1におけるそれぞれに対応する値は Χί(η ) と y!Oi+l) で表 した。 また、 DiOi)は i番目の素子の内部にある 2個の振動子間の時刻 nにおけ る結合定数である （文献 5参照） 。
    [0022] Gx {χ(η)} と GT {y(n)} はそれぞれ第 1振動子と第 2振動子の写像関数で あり、 以下の実施例においては、 口ジスティック写像 （文献 1参照） を用いる。 すなわち、
    [0023] とする。 写像パラメ一夕 Ax (≤4) と Ay (≤ 4) は一般に 4に近い値をとらせ 。
    [0024] このカオス振動子結合系の素子としての状態を決めるために、 次式で定義され る z iOi)を導入する。
    [0025]
    [0026] ここでは、 この素子を 2値のデジタル素子にする。 デジタル化に際しては、 力 ォス振動子結合系の同調状態を利用して、 同調状態を （1 ) にし、 非同調状態を (0) にする。 すなわち、 i番目の素子の時刻 nにおける状態値 U i(n)を次の式 で決める。
    [0027]
    [0028] u 5 (n) = G otherwise (7) ここで、 εは同調判定パラメータであり、 一般に零に近い値を与える。 このパ ラメ一夕 sの値を 0にとり、 写像パラメ一夕の値を Αχ
    [0029] 1は i番目の素子の内部にある 2個の振動子が完全に同調していることを示して いる。 しかし、 運動方程式の対称性から、 AX にとると、 一度同調してし まうと結合定数が小さくなっても同調状態がはずれなくなる。 これを避けるため に小さなノイズを入れれば良いが、 カオス振動子に内在する乱雑性を利用すれば 簡単に解決する。 それをするには、 ただ Ax と AY の値を僅かに異なるようにす ればよい。
    [0030] 式 （6)のパラメータ εは、 ボルツマン ·マシンにおける温度に対応しており、 ε «1) の値を大きくとると高い温度に対応する運動をするようになり小さな 局所ミニマムから抜け出すことができる。
    [0031] また、 Ax と AY の差が大きい時も高い温度に対応するので、 同調判定パラメ 一夕 εと写像パラメ一夕 （Ax , Ay ) の値を種々に選ぶことにより、 多様な運 動をさせることができる。 たとえば、 これらのパラメ一夕の値を時間的に変化さ せることにより、 焼き鈍しと同様な効果をあげることができる。 パラメ一夕の選 び方は、 解く問題に応じて適切に行うとよい。
    [0032] 上記のようにして作成された素子を結合させてネットワークを構成する。 問題 は素子間の結合をいかにして素子内部の結合定数に取り入れるかであり、 これは 以下のようにする。 すなわち、 素子 iと kの間の結合定数を wik、 素子 iへのネ ットワークの外部からの入力を s , 、 素子 iのしきい値を 0, とするとき、 素子 iの時刻 nにおける振動子間の結合定数 D, (n)次式で与えるとする。
    [0033] DD,(n)=∑wkiuk(n)+ S i- θ ι (8) k
    [0034] 結合定数 Di(n) が負になると振動子が崩壊することがあるので、 それを上式
    [0035] (9) によって防いでいる。
    [0036] ホップフィルド ·モデルの伏態変化規則 （文献 2の 21頁参照） においては、 (8)式右辺が正のとき素子の状態を （1) とし、 また負のときは状態を 0に変 化させるようにしている。 本発明の素子をこれに合わせるために、 しきい値 0, を外力と素子間結合がないとき 2個の振動子が同調を起こす臨界値にとればよい。 このようにすれば、 従来のニューラル · ネッ トワークで用いられているノウ ·ハ ゥを本発明のニューラル ·ネットワークにも用いることができる。 また、 この臨界値は、 写像関数の最大リャプノフ指数より決まる（文献 5参照 λ 以下の計算では Αχ =4かつ A, は Ax に極めて近い值をとらせるので、
    [0037] θι =-0.5 (1 0) とする。
    [0038] 以上のように構成されたニューラル ·ネットワークの計算上の流れを復習する。 初期時刻 η=0に全ての振動子の座標 （Xi (0) , yi (0) ) を与えると、 こ れより （5)式から (0)が求まり、 この ζ5 (0)から （6) と （7)式を 用いて素子の状態 (0)が決まる。 振動子間の結合定数は Ui (0)を用いて (8) と （9) 式から定まる。 このようにして、 初期伏態の諸種の値は全て決ま る。 これらの n = 0の値から、 （1) と （2)式より時刻 n= 1の振動子の座標 (Xi (1) , yt (1) ) が定まる。 以下同様にして任意の時刻における全ての 素子の状態が並列的に確率を用いることがなく決定論的に決まる。
    [0039] 〔図面の簡単な説明〕
    [0040] 図 1はパターン Lの想起過程を示した図、 図 2はパターン 0の想起過程を示し た図、 図 3はパターン Vの想起過程を示した図、 図 4はパターン Eの想起過程を 示した図、 図 5は巡回セールスマン問題を解いて得られた順路を示した図、 図 6 は音声認識機の概念図である。
    [0041] 〔発明を実施するための最良の形態〕
    [0042] 次に、 本発明のニューラル ·ネットワークをパソコン （日本電気 PC— 9 80 1 RA) に数值演算プロセッサー 8038 7を登載したものでシミュレートした 簡単な例を示す。
    [0043] 例 1 図形の自己想起的な連想記憶 （文字認識）
    [0044] ニューラル ·ネットワークによる自己想起的な連想記億を、 本発明の二ユーラ ル .ネットワークを用いて行ってみる （文献 2の 22〜23頁参照） 。
    [0045] ネットワークは、 64個の素子からなっているとする。 それらの素子は図 1の ように 8 X 8の正方形に並べられている。 素子は 2値をとれるので白丸は （0) 黒丸は （1 ) を表すとする。 その白丸と黒丸で図形を表現することにし、 記億さ せたいパターンをネットワークに埋め込む。 そのためには、 素子間結合定数 Wik を、
    [0046] wIk=∑ {2υ,(α.)~ 1} {2 uk(a.)- 1 } (1 1)
    [0047] Wii= 0 (1 2) と選ぶ （文献 2参照） 。 ここで α, は記億させたいパターンの状態を表している c 実施にあたつて、 諸種のパラメータの値は次のように選んだ。
    [0048] 写像パラメータは、
    [0049]
    [0050] ここで、 Ay の値はもう少し大きくとってもよい。
    [0051] 同調判定パラメ一夕は、
    [0052] £=0.001 (1 ) とした。
    [0053] 図 1から図 4にあるパターンの下の値はその状態のエネルギー値である （文献 2参照） 。 また、 各図の 1段と 4段のパターンは埋め込んだパターンであり、 こ の例では図から分かるように英大文字の L, 0, V, Eの 4個をこのネットヮー クは記憶している。 乱れた L, 0, V, Eのパターンから正しい L, 0, V, E を想起 （回復） する様子が 4個のパターンの下の段に示されている。 離散時間 n が 1だけ増加するごとにパターンが表示されている、 時間は右に向かって進んで いるとしている。 図 1の最初の例では乱れた Lから出発 （n= 0) して 2回の遷 移で正しい Lを想起している。 また、 このとき、 1回の遷移に要した計算時問は 約 0, 3秒であった。
    [0054] このような働きと例 4で示す学習能力があるので、 ニューラル ·ネッ トワーク を文字認識に用いることもできる （文献 6 ： 「前田民雄 1 990。 ニューロシミ ユレーシヨンによる文字認識。 山海堂」 参照) 。
    [0055] 例 2 巡回セールスマン問題 （組合せ最適化問題）
    [0056] 次に組合せ最適化問題として有名な巡回セールスマン問題 （TSP) を本発明 のニューラル ·ネッ トワークを用いて解く。 計算にあたっては、 例 1の場合と同 様にパソコン上でシミュレートする。
    [0057] TSP問題とは、 N個の都市をそれぞれ 1度訪れ、 最後に出発点に戻るとし、 このような経路のうちで最短になるものを求める問題である。
    [0058] この問題をニューラル ·ネットワークを用いて解く方法、 例えば素子間の結合 定数の与え方や正方形に並べた素子の各行、 各列の意味はホッブフィールドと同 様にする （文献 2の 1 1 9頁参照） 。
    [0059] すなわち、 各行が一つの都市に対応し、 各列が訪問する順番を表すとする。 このとき i行 k列の素子の状態を u i kで表す。 そして u i kと u π«との間の結合 定数を wik „» で表すことにする。 また、 都市 iと都市 nの距雜を dinとする。 こうすると、 素子間の結合定数 wik ηπ と外部入力 s ikは次式で与えるとよい。
    [0060] Wik oa =-A { <5 i n(l一 <5 k»)+ »(l - 5 i n)}
    [0061] 一 Bdin(U 5» 】） （1 5) s ik = -A (1 6) ただし、 5inはクロネッカーのデルタ、 すなわち
    [0062] 1 if i =n
    [0063] din= { (1 7)
    [0064] 0 otherwise
    [0065] ここでは、 N= l 0の場合について解くことにする。 実施にあたって、 諸種の パラメ一夕の値は次のように選んだ。
    [0066] 写像パラメータは、
    [0067] Αχ=4, Α,=3.9999 ( 1 8 ) 同調パラメータは、 後で示す例では
    [0068] ε =0.0001 ( 1 9 ) とした。 ただし、 一般には {Αχ =4, A, = 3. 995, ε = 0. 002くら いが良い。
    [0069] 各都市 （C, 〜C10) の X座標と Y座標は以下のように与えられているとした。
    [0070] X y
    [0071] Ci =C1.0, 1.0) . C2 =(2.0, 0.5)
    [0072] • C3 =(5.0, 3.0)
    [0073] • C4 =(6·0, 1.0)
    [0074] . Cs =(8.0, 3.0)
    [0075] 5 C6 = (7.5, 7.0)
    [0076] . C7 =(5.0, 9.0)
    [0077] • C8 =(2.5, 7.0)
    [0078] • C9 =(1.0, 6.0)
    [0079] • C10 = (1.2, 5.0)
    [0080] 0 また、 係数 Aと Bは、 次のようにとった。
    [0081] • A = 5. B=0.5 (20)
    [0082] • 上のパラメータの値はもつと大きくても （例えば A= 1 0 0 0, B= 1 0 0) 良 • い。
    [0083] • 計算の実行にあたり、 まず 1 0 0回の遷移で打切り、 そこで再びランダムな初 5 期条件を与え直し再スタートさせた。 これはボルツマン ·マシンによる焼き鈍し • の方法に対応している。 この過程を何回か繰り返し、 その中で最良の解を残すこ . とにした。 なお、 1回の遷移に要した時間は約 0. 8 7秒であった。 得られた結 . 果を図 5に示してある。 図の下の値は距雜を表している。 また、 この解を得るの • に 9 1 3回の遷移を要した。
    [0084] 0 例 3 ボルツマン ·マシン （Boltzmann machine)型の学習
    [0085] . ニューロ 'コンピュータの最も大きな特徴の一つは優れた学習能力があること . である。 よく用いられる学習はボルツマン ·マシンによる学習とバック .プロパ . ゲーション（back propagation)学習である。 本発明のニューラル ·ネッ トワーク . を用いるとこれらの学習を高速に効率よく行うことができる。
    [0086] 5 まず、 ボルツマン ·マシン型の学習を簡単な実施例を用いて説明する。 ネット • ワークは 1 0個の素子からなり、 そのうち 4個が入力部、 2個が隠れ部、 4個が • 出力部として使われているとする。 学習させるのは入力部に提示したパターンと 同一のパターンを出力部に出すことにする。 パターンとして （ 1, 1, 0, 0) - (0, 1, 1, 0) 、 (0, 0, 1, 1) 、 (1, 0, 0, 1) ©4個を選ふ 'o 学習のさせ方は従来の方法 （文献 7 ： 「Rumelhart D.E.. McClelland J. E. and the PDP Research Group 1986. "Parallel Distributed Processing" vol.1, vol.2 Cambridge, MA: MIT Press. J 参照） と同じでよい。 実施にあたって、 諸 種のパラメータは AX = 4, AY = 3. 9 9 5, ε = 0. 0 0 2とし、 学習の効 率係数は、 0. 00 1とした。 但しこのとき焼き鈍し（simulated annealing) を 行う必要がなく、 また学習の効率が良いので従来のニューラル ·ネットワークの 学習より約 1 0倍ほど早く学習を完了できた。 本発明のニューラル ·ネットヮー クでは素子の並行処理ができるのでこれを行うと更に極めて高速な学習ができる。 例 4 バック 'プロパゲーション（back propagation)学習
    [0087] この学習は実用的な学習として良く用いられる。 しかし、 この学習では素子の アナログ性を利用しているので、 デジタル素子を用いたニューラル ·ネットヮー クでこの学習を行うことはできない。 ところが、 本発明の素子は内部アナログ、 外部表現デジタルの 2重構造になっているので、 外部表現デジタルのままで学習 ができる。 学習のさせ方は従来の方法 （文献 7参照） でよい。 但し、 中間層の素 子 i (振動子間の結合定数は DHi) の値 Hi と出力層の素子 k (振動子間の結合 定数は D。k) の値 OK の代わりに f (DHI- 0. 5) と f (D0K— 0. 5) とを それぞれ用いることにする。 ここで閟数 f (X) はシグモイド関数でよい。 本発 明の素子にはカオス振動子によるノイズが働いているので、 確率的バック ·プロ バゲ一シヨンになっている。 排他論理和の学習をさせたところ良好な結果を得た。 このとき、 パラメ一タとして Ax =4, Ay =3. 995、 £ = 0. 0 02、 ま た結合の学習効率係数は 0. 8、 しきい値の学習効率係数は 0. 4とした。
    [0088] 以上、 数例を示したが、 他に多くの応用が考えられる。 ニューラル 'ネットヮ ークを用いるとき、 まず与えられた問題に応じて、 適当な素子間結合を決める。 このように設定したニューラル■ネットワークを稼働させることによって、 所期 の情報処理を行う。 また、 素子間結合を学習によって変化させれば、 学習する情 報処理装置になる。 さらに、 本発明のニューラル ·ネッ トワークをいくつか結合 させて高度な情報処理をさせることもできる。
    [0089] 実施例では行わなかつたが、 問題によつては素子内部の振動子間の結合定数と して次式のような記憶効果を入れた D i(n)M を用いてもよい。
    [0090] ただし、 ここで mは記億の長さを表し、 rは記億の減衰率を表している。 また、 初期には過去がないから、
    [0091]
    [0092] とする。 この記億効果は一般に入れる必要はない。
    [0093] 上に述べた実施例の素子は、 2個のカオス振動子を結合させた系から成ってお り、 系の同調状態と非同調状態を用いて 2値のデジタル素子として機能するよう に設計されている。 ところで、 3個のカオス振動子から成る素子では、 非同調状 態は （0)、 部分同調状態は （1) 、 完全同調状態は （2) とする 3値デジタル 素子にすることができる。 以下同様である。
    [0094] ところで、 実施例の （6)、 (7)式のようなデジタル化をしなければ、 カオ ス振動子結合系をアナログ素子として用いることもできる。
    [0095] 例えば素子 iの時刻 nにおけるアナログ値 u , (n)は次のように与えられる。
    [0096] 1
    [0097] υ i (n) : (23)
    [0098] 1 +exp (- z Zz o)
    [0099] ここで
    [0100] ε
    [0101] z≡ 一 1 (24)
    [0102]
    [0103] ここに表れたパラメータ z。 は z。 =0. 2〜0ぐらいが良い。
    [0104] 次に製品化の例を示す。
    [0105] 例 1 ニューラル ·ネットワーク ·シミュレータ
    [0106] これについては既に各社から色々な製品が販売されている。 ところで従来の二 ユーラル 'ネットワークは機種によってモデルが異なっている。 ホップフィ一ル ド (Hopfield)モデルは連想記憶、 ホップフィールド一タンク（Hopf ield-Tank) モ デルは最適化問題、 ボルツマン ·マシン（Boltzmann machine) は最適化問題と確 率学習、 バック ·プロパゲーションは学習の機能を持つ。 本発明のニューラル · ネットワークは上の例に示したように同一のモデルでこれら全ての機能を持つて いる。 また動作原理もカオス振動子を用いた新しいものであり、 能力も高いので、 本発明のニュ一ラル ·ネットワークのシミュレータを製品化することは研究者お よび一般利用者にとつて意義がある。
    [0107] 例 2 音声認識機
    [0108] ブレイジャー （Prager) ら （文献 8 ： rprager R. W. , Harrison T. D. and Fallside F. 1986. "Boltzmann machines for speech recogni tion "Computer Speech and Language 1, 3-27. 」 参照） の研究によれば、 ボルツマン 'マシン (Boltzraann machine) を音声認識機に用いることができる。 その概念図を図 6に 示す。 ところで実施例 2と 3で示したように本発明のニューラル 'ネットワーク はボルツマン■マシンと同様な機能がある。 そこで本発明のニューラル 'ネット ワークを音声認識機に用いることができる。 このとき、 探索および学習速度が早 いので従来のものより優れたものができる。 また、 素子レベルの並列処理が可能 であるからこれを実現させると極めて高速な音声認識ができる。
    [0109] 上に示したように、 このニューラル 'ネットワークは従来のニューラル 'ネッ トワークと同様に用いることができ、 その性能は従来のものより格段に優れてい る。 素子にカオス振動子結合系を用いているので、 完全並列かつ決定論的なニュ 一ラル ·ネットワークである。 完全並列であるために高速であり、 また決定論的 でありながらカオス振動子を用いているためにボルツマン ·マシン的な動きもで きる。 また、 実施例 2のように 2値のデジタル素子を用いても T S P問題を解く ことができる。 一般に、 デジタル素子を用いて T S P問題を解くことは極めて困 難であり、 ホップフィルドとタンクはアナログ化して初めて T S P問題を解くこ とができた (文献 9 ： fHopfield J. J. and Tank D. W. 1985, "Neural" Comput- at ion of Decisions in Optimization Problems. Biol. Cybern. 52, 141-152. J 参照） 。
    [0110] 本発明の素子は 2値のデジタル素子にすることができるので、 ハード化が容易 である。 これは製品化するとき極めて重要な長所になる。
    [0111] 〔産業上の利用可能性〕
    [0112] 本発明は、 図形認識や組み合わせの数が膨大になる最適化問題、 また学習が必 要な問題などを高度並列分散的に高速に解く計算機の分野に利用することができ る。
    权利要求:
    Claims請 求 の 範 囲
    1 . 次の構成からなるニューラル 'ネットワーク。
    ( a ) カオス振動子を、 系の運動状態によって決定される結合パラメ一夕によ り結合させて素子 （ニューロン） とする。
    ( b ) この素子 （ニューロン） を、 解くべき問題によって決定される素子間結 合定数および外力によつて複数個互いに結合させる。
    2. 2個のカオス振動子からなる系では、 カオス振動子間の結合を、 両者の結合 係数と状態値との積の総和に外力を足し、 しきい値を引いた値が正の値であれば その値、 負の値であれば零という結合定数で決定することを特徴とする、 請求の 範囲 1記載のニューラル ·ネットワーク。
    3. 外力とカオス振動子間結合がないときにはその系が臨界状態になるようにし きい値を決定することを特徴とする、 請求の範囲 2記載のニューラル ·ネットヮ ーク。
    4. 系の素子としての僮を、 2個のカオス振動子のある時刻における値の差が同 調判定パラメータの値より小さいときは 1とし、 それ以外は 0としてデジタル化 することを特徴とする請求の範囲 2記載のニューラル ·ネットワーク。
    类似技术:
    公开号 | 公开日 | 专利标题
    Weisbuch2019|Complex systems dynamics
    Schuld et al.2014|The quest for a quantum neural network
    Wen et al.2017|Learning intrinsic sparse structures within long short-term memory
    Vinyals et al.2015|Pointer networks
    Tang et al.2017|# exploration: A study of count-based exploration for deep reinforcement learning
    Lee et al.2018|Gradient-based meta-learning with learned layerwise metric and subspace
    Pham et al.2012|Intelligent optimisation techniques: genetic algorithms, tabu search, simulated annealing and neural networks
    Zhan et al.2016|List-based simulated annealing algorithm for traveling salesman problem
    Gokmen et al.2017|Training deep convolutional neural networks with resistive cross-point devices
    JP6605259B2|2019-11-13|ニューラルネットワーク構造拡張方法、次元縮小方法、及びその方法を用いた装置
    Eberhart et al.2011|Computational intelligence: concepts to implementations
    Suganuma et al.2017|A genetic programming approach to designing convolutional neural network architectures
    Friedlander et al.2012|Hybrid deterministic-stochastic methods for data fitting
    Wu et al.2008|Enhanced karnik--mendel algorithms
    Bersini et al.1994|Asynchrony induces stability in cellular automata based models
    Schmidhuber2015|On learning to think: Algorithmic information theory for novel combinations of reinforcement learning controllers and recurrent neural world models
    Denoeux et al.1993|Initializing back propagation networks with prototypes
    Lin1994|Neural fuzzy control systems with structure and parameter learning
    Sakar et al.1993|Growing and pruning neural tree networks
    Smith1999|Neural networks for combinatorial optimization: a review of more than a decade of research
    Duch et al.1995|Feature Space Mapping as a universal adaptive system
    Lovett et al.2010|Universal quantum computation using the discrete-time quantum walk
    Goles et al.2013|Neural and automata networks: dynamical behavior and applications
    Lozano2000|Analyzing the population based incremental learning algorithm by means of discrete dynamical systems
    Bengio et al.1996|Input-output HMMs for sequence processing
    同族专利:
    公开号 | 公开日
    JPH0683791A|1994-03-25|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    法律状态:
    1992-07-09| AK| Designated states|Kind code of ref document: A1 Designated state(s): US |
    1992-07-09| AL| Designated countries for regional patents|Kind code of ref document: A1 Designated state(s): AT BE CH DE DK ES FR GB GR IT LU MC NL SE |
    优先权:
    申请号 | 申请日 | 专利标题
    [返回顶部]